临床自然语言处理(NLP)已成为医疗保健领域的一项新兴技术,该技术利用了电子健康记录(EHR)中大量的自由文本数据,以改善患者护理,支持临床决策并促进临床和转化科学研究。深度学习在许多临床NLP任务中都取得了最先进的表现。但是,培训深度学习模型通常需要大量注释的数据集,这些数据集通常是不公开的,并且可能耗时以在临床领域建立。在临床NLP中,使用较小的注释数据集是典型的,因此,确保深度学习模型的性能良好对于在现实世界应用中使用的模型至关重要。一种广泛采用的方法是微调现有的预训练语言模型(PLM),但是当培训数据集仅包含少数注释的样本时,这些尝试不足。最近已经研究了很少的学习(FSL)来解决这个问题。暹罗神经网络(SNN)已被广泛用作计算机视觉中的FSL方法,但在NLP中尚未得到很好的研究。此外,关于其在临床领域的应用的文献很少。在本文中,我们提出了两种基于SNN的FSL方法,用于临床NLP,包括带有二阶嵌入(SOE-SNN)的预训练的SNN(PT-SNN)和SNN。我们评估了有关两项临床任务的拟议方法,即临床文本分类和临床命名实体识别。我们测试了三个几次设置,包括4局,8局和16杆学习。使用三个PLM(包括Bert,Biobert和Bioclinicalbert)对两个临床NLP任务进行了测试。实验结果验证了拟议的基于SNN的FSL方法在两个临床NLP任务中的有效性。
translated by 谷歌翻译